Có bằng chứng cho thấy đã có một cuộc chạy đua của con người từ đầu thời đại đồ đá cũ trong quần đảo Nhật Bản, nhưng các ước tính cho biết các ngôn ngữ đã được sử dụng kể từ thời điểm đó, mặc dù không rõ những loại ngôn ngữ nào đã được sử dụng. Các ngôn ngữ này tương tự như các ký tự từ những tàn tích của thời kỳ đồ đá, phù hợp với các lý thuyết về ngôn ngữ.

Từ thế kỷ II, đã bắt đầu có các bằng chứng trong các pho sử Nhật (ja:歴史書) về việc tiếp xúc với văn hoá và văn học Trung Quốc. Sau đó, người Nhật đã bắt đầu có các cách để phiên âm cũng như sử dụng hệ thống chữ Hán từ Trung Quốc, thông qua các bộ chữ như man'yōgana, hiragana và katakana. Các âm tiết hình thành trong quá trình tạo ra hệ thống chữ viết, chúng thể hiện tương đối chính xác.